sysroot: Add a try_lock() API

The blocking locking API wasn't sufficient for use in the rpm-ostree
daemon; it really wants to know if the lock is held, then continue to
do other things (like service DBus requests), and get notification
when the lock is available.

We also add an async variant that can be called if the lock is not
available.

Implement a higher level "loop until lock is available" method in the
`ostree admin` commandline.

repo: Simplify sign_data() a little

Use ot_gpgme_data_output() to wrapper a GOutputStream.

gpg: Add custom data buffers to wrapper GIO streams

ot_gpgme_data_input() and ot_gpgme_data_output(), shamelessly ripped
off from seahorse_gpgme_data_input() and seahorse_gpgme_data_output().

gpg: Fix ot_gpgme_error_to_gio_error()

Need to extract the error code from a gpgme_error_t, can't just compare
it directly.

ot-fs-utils: remove empty line at EOF

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

summary: delete summary.sig on an update

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: add a test for signed summary file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: verify signature for the summary file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

summary: add new command line arguments to sign the summary file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ostree-repo: add new API to sign the summary file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: get rid of detached metadata for deltas

Once the summary file will be signed, we can validate the superblock
from there.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: check that the superblock checksum is the same as in the summary

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

core: store information about delta files checksums

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

core: new function _ostree_parse_delta_name

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

summary: list the available static deltas

Write the information in the additional_metadata element for backward
compatibility.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

trivial-httpd: add option to specify the port

I use the trivial httpd server locally. Each time I restart the
server, I end up modifying manually the config file for other repos so
to point to the correct port. In this way I can just re-use the same
port.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

trivial-httpd: fix indentation

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

Remove unnecessary #include "libgsystem.h"

Use g_auto(GStrv) instead of gs_strfreev

Use g_autoptr(GVariantBuilder) instead of gs_unref_variant_builder

Use g_autoptr(GKeyFile) instead of gs_unref_keyfile

Use g_autoptr(GVariant) instead of gs_unref_variant

Use g_autoptr(GPtrArray) instead of gs_unref_ptrarray

Use g_autoptr(GHashTable) instead of gs_unref_hashtable

Use g_autoptr(GBytes) instead of gs_unref_bytes

Use g_autoptr(GChecksum) instead of gs_free_checksum

Use glnx_unref_object instead of gs_unref_object

For non-GIO object types, at least until autocleanup support for GObject
based types becomes more widespread.

Use g_autoptr() for GIO object types

GLib 2.44 supplies all the necessary autocleanup macros for GIO types,
and libglnx backports the relevant macros for ostree.

Use g_autofree instead of gs_free

Juggling libglnx.h includes

gpg: Add ostree_gpg_verify_result_describe_variant()

Needed for printing signature details in places where
OstreeGpgVerifyResult cannot go.

repo: Stop creating "transaction" symlink

This originally was a way that we detected the case where a pull was
interrupted.  Later, we added `.commitpartial` files which also cover
this case.

See also https://github.com/GNOME/ostree/pull/85

We still want to honor their existence (and unlink them) in case an
old version of ostree was in use, but I believe it's safe to stop
creating them now.

The only case where this would break is if you have a version of
ostree that predates commitpartial in your rollback history, but such
old versions are no longer in use by operating systems I support at
least.

Closes: https://github.com/GNOME/ostree/pull/100

libglnx: Pick up bugfix and backports

Need more autocleanup backports for GIO types.

Teach fsck about partial commits

An OSTree user noticed that `ostree fsck` would produce `missing
object` errors in the case of interrupted pulls.

It's possible to do e.g. `ostree pull --subpath=/usr/share/rpm ...`,
which gets you just that portion of the commit.  The use case for this
was being able to see what changes would appear in an update before
actually downloading all of it.

(I think this would be better covered by static deltas, but those
 aren't final yet, and `--subpath` predates it)

Further, `.commitpartial` is used as a successor to the `transaction`
symlink for more precise knowledge in the case where a pull was
interrupted that we needed to resume scanning.

So it makes sense for `ostree fsck` to be aware of it.

core: Cleanup commitpartial file with fd-relative lookups

First, this is just a general continuation of the `GFile -> openat`
transition.

Second, it's preparatory work for fsck to gain awareness of partial
commits.

doc: remove unknown parameter from inline documentation

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

repo: Fix an obvious typo

libglnx: fix reference to commit

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

sysroot: Add an API to lock

If a system administrator happens to type `ostree admin upgrade`
multiple times, currently that will lead to a potentially corrupted
system.

I originally attempted to do locking *internally* in `libostree`, but
that didn't work out because currently a number of the commands
perform multi-step operations that all need to be serialized.  All of
the current code in `ostree admin deploy` is an example.

Therefore, allow callers to perform locking, as most of the higher
level logic is presently implemented there.

At some point, we can revisit having internal locking, but it will be
difficult.  A more likely approach would be similar to Java's approach
with concurrency on iterators - a "fail fast" method.

Fix build when using GLib < 2.44

pull: the commit size in the summary is not for the detached metadata

Use the size specified in the summary file only for the not detached
metadata.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

gpg: Fix _ostree_gpg_verifier_add_keyring()

The function never fails, but its API makes it look like it can.

Fortunately it's private, so just fix it.

ostree: Split up "remote" subcommands

To make room for "remote gpg-import", which will be non-trivial.
ot-builtin-remote.c was already a little too crowded anyway.

Also while we're at it, port this bit of code away from libgsystem.

repo: Initialize GPGME in instance init()

Initially I had this in class_init() but there it would get invoked
during introspection scanning.

libotutil: Add ot_gpgme_ctx_tmp_home_dir()

Currently used for signature verification, will also be used for
importing GPG keys.

libotutil: Establish a place for GPG utilities

Add ot-gpg-utils.[ch] and move _ostree_gpg_error_to_gio_error() here.

show: add option --gpg-homedir

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

gpg: do not use secring.gpg

It contains the secret keyring

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

g_output_stream_splice: check correctly the error code

While at it, change the style of other two occurrences.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

test-auto-summary.sh properly quote arguments to assert_streq

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: Always request detached metadata for commits

Always request detached metadata for commit objects, even if we already
have the commit object.  This ensures we fetch any post facto detached
metadata updates such as new GPG signatures.

https://bugzilla.gnome.org/748220

reset: update help output

The inline help for 'ostree reset' now correctly shows that it
requires a REF and a COMMIT as arguments.

README.md: fix typo

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

deploy: Drop a fsync, use fd-relative APIs

Now that we can rely on `syncfs()`, drop another fsync in the deploy
path.  While we're here, convert it to fd-relative.

deploy: Drop fsync of modified config files

These fsyncs were added for what turned out to be a fairly bogus
reason; I was hitting read errors from extlinux after upgrades and out
of conservatisim tried adding fsync calls, but the *actual* problem
was that extlinux didn't support 64 bit ext4.  Now that at least for
Project Atomic hosts we're just targeting grub2, we can drop these
fsync calls and rely on `syncfs()` being both faster and catching any
errors.

deploy: Use syncfs() in addition to sync()

For some sort of crazy reason, the `sync()` system call doesn't
actually return an error code, even though from what I can tell in the
kernel it wouldn't be terribly hard to add.

Regardless though, it is better for userspace apps to use `syncfs()`
to avoid flushing filesystems unrelated to what they want to sync.  In
the case of OSTree, this does matter - for example you might have a
network mount point backing your database, and we don't want to block
upgrades on syncing it.

This change is safe because we're doing syncfs in *addition* to the
previous global `sync()` (a revision from an earlier patch).

Now because OSTree only touches the `/` mount point which covers the
repository, the deployment roots (including their copy of `/etc`), as
well as `/boot`, we should at some point later be able to drop the
`sync()` call.  Note that on initial system installs we do relabel
`/var` but that shouldn't happen at ostree time - any new directories
are taken care of via `systemd-tmpfiles` on boot.

status: Don't crash if we deployed a local refspec

In the case we built a local tree, we'd pass `NULL` as a remote down
to the GPG checking code.  Noticed this in the test suite.

sysroot: Close sysroot fd in finalize

Just noticed this while I was going to add another one there.

libglnx: Update from master

No real changes, but I'd like to use some of the new APIs later.

Release 2015.6

sysroot: Add ostree_sysroot_get_fd()

This way external programs like rpm-ostree can do fd-relative
operations on the deployment directories, like inspecting the RPM
database.

Closes: https://github.com/GNOME/ostree/pull/91

main: Tweak GPG output to match rpm-ostree

sysroot: Cache an OstreeRepo instance

Rather than returning a new OstreeRepo instance in each call to
ostree_sysroot_get_repo(), cache one internally so the same instance
is returned each time.

admin: Conditionally show GPG signatures in status command

Only if GPG verification is enabled for a deployment's origin.

repo: Add ostree_repo_remote_get_gpg_verify()

Trivial function, but it does at least centralize the default value.

pull: Print GPG signature status as soon as its known

repo: Add a "gpg-verify-result" signal

Emitted during a pull operation upon GPG verification (if enabled).
Applications can connect to this signal to output the verification
results if desired.

repo: Improve error handling in sign_data()

Use _ostree_gpg_error_to_gio_error() so the actual GPG error message is
included in the GError.  Then apply an "Unable to blah: " message prefix.

reset: Don't enforce parent commits

First, git doesn't do this, and whatever Linus thinks is right or
something.

Second specifically to OSTree, it's quite common to not have
intermediate commits.  If one wants to reset a ref in order to prune
data after a deployment, the parentage check will fail.

Closes: https://github.com/GNOME/ostree/pull/87

libglnx: Update to latest

This pulls in more fixes for writes.

config: add new parameter "commit-update-summary" to core section

When set to true, the summary file is automatically updated after
a commit.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

summary: write the contents to a temporary file

do not write directly to the summary file but use a temporary file
first.  It avoids to create an empty file if "ot_util_variant_save"
fails.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

_ostree_repo_file_replace_contents: make buf const

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: Fix root uid check in test-commit-sign.sh

libglnx: Pick up file permission regression fix

https://bugzilla.gnome.org/747813

repo: Add a private helper to replace a file, honoring fsync policy

Extracted from discussion in https://github.com/GNOME/ostree/pull/83

refs: Use *at for writes, honor repo fsync flag

I was looking at https://bugzilla.gnome.org/show_bug.cgi?id=738954
which wants us to ensure we chown() the refs.  As part of that,
I did a generic conversion to use `*at()` (which naturally gives
us more low level control so we can call `fchown` etc.

This patch also sneaks in a change to respect the repo's
`disable_fsync` flag - if fsync is not set, then we never
`fdatasync()` (unlike the `g_file_replace_contents()` default.  Also
unlike it, if fsync is enabled, we *always* sync even if the file
didn't exist.

ostree_repo_checkout_tree_at: remove @subpath documentation

It is not an argument of the function.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

Add an API to set/unset a deployment tree's mutability

This will be used by rpm-ostree to unset the immutable bit temporarily
in order to do package layering.  We could add an API to deploy a tree
without the immutable bit, but this is simpler.

pull-metalink: Don't print error output when we expect failure

I think I added `cat err.txt` to debug, but it's not necessary now.

admin: Show GPG signatures in status command

gpg: Add ostree_gpg_verify_result_describe()

Internalizes the signature output of "ostree show" so it can be reused
elsewhere.

Release 2015.5

ostree_repo_checkout_tree_at: New API for checkouts

rpm-ostree currently uses ostree_repo_checkout_tree(), which as a side
effect will use the uncompressed objects cache by default.  This is
rather annoying if you're using rpm-ostree on a server-side
repository, because if you then rsync the repo, you'll be syncing out
the uncompressed objects unless you exclude them.

We added the ability to disable the uncompressed cache in the
repository config to fix this, but it's better to allow application
control over this.  The uncompressed cache will in some future version
become opt in as well.

This new API further:
 - Drops the `GFile` usage in favor of `openat` APIs
 - Improves ergonomics by avoiding callers having to query the source
   `GFileInfo` (and carry around a copy of `OSTREE_GIO_FAST_QUERYINFO`)
 - Has a more extensible options structure

Per the comment, I rather crudely have the `ostree checkout` builtin
call both APIs to ensure some testing coverage.

However, I'd like to in the future have easier-to-set-up testing code
that calls `libtest.sh` to set up dummy data.

pull: Handle remote web server not honoring range requests

It's valid for the remote server to say 200 OK and give us the entire
file instead of a 206 Partial Content, and in that case we should blow
away the previous cached data, rather than blindly appending to it and
thus creating multiple copies of the data inside the file.

This problem primarily occurs when we do have the complete file, and
we're interrupted, then try again, where the new process didn't record
the download was already complete.  We do a range request for bytes
past the end, and some web servers (e.g. Akamai) will return 200 OK
with the whole content again, rather than a 416 Requested Range Not
Satisfiable.

Thus we could also fix this by saner caching strategy - since we know
the file is complete, rename it again to $checksum.done or something
before it's processed.  (Or really, rework how we do caching more
intelligently in general).

This fixes the issue that interrupted pulls failed with such
webservers, although repeated attempts would eventually succeed
because we'd unlink files that failed to pull.

Related: https://bugzilla.redhat.com/show_bug.cgi?id=1207292

tests: Verify that the pull error was from interruption

While working on https://github.com/GNOME/ostree/pull/84 I wanted to
verify that nothing else was going wrong.

core: Actually allow none in ostree_parse_refspec()

Both 'out_remote' and 'out_ref' parameters already have the (allow-none)
annotation but that wasn't actually true.

tests: Missing linker flags for test-rollsum

Reproducable on Debian; Fedora lets it slide.

dist-packaging: Don't delete 91-ostree.preset, do clean old rpms/sources

We have to copy the sources to avoid rpmbuild deleting them.  But on
the other hand there's no reason for old sources to stick around.

tests: skip test-commit-sign.sh when not root

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

build: exclude .sig files from syntax-check

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

src/ostree/ot-main.c: drop empty newline at end of file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests/basic-test.sh: enable repo-noperm test only for non-root user

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

build: Drop libattr from the spec file

commit 534c4c20c3fa5ad9500ea96093a3ece7821a6056 already drops its
usage in the code.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

build: Use glibc's xattr support instead of requiring libattr

Fixes the build on Debian, and is one library less.

Closes: #78

main: Only verify SUPERUSER flag if using default sysroot

The use case for non-default sysroots that I know of are:
 1) The current test suite
 2) Installers (Anaconda)
 3) Inspecting VM disks

For 2) and 3), it'll quickly be obvious if they're not running as
root, and these are more obscure cases.  We want to allow 1), and this
is a simple way to do it.

https://bugzilla.gnome.org/show_bug.cgi?id=747164

Include ostree-gpg-verify-result.h in ostree.h

core: Fix possible crash in ostree_mutable_tree_walk()

If the starting index is beyond the end of the list, it's a programming
error. Previously, the code was trying to raise a runtime error, but
actually causing a segfault.

This was detected by test code in test-mutable-tree.c, which is removed
in this commit because it should now not be possible to crash here.

https://bugzilla.gnome.org/747032

bsdiff: change submodule location

The cleanup code was merged in the https://github.com/mendsley/bsdiff
repository, so just use it.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

Add OSTREE_ADMIN_BUILTIN_FLAG_SUPERUSER

Indicates the command requires superuser privilege.  Fails early with
a more helpful message than would otherwise be returned by libostree.

Currently all admin commands except 'status' require superuser.